VIA-SD: Verification via Intra-Model Routing for Speculative Decoding
通过模型内路由的分层验证推测解码加速
🧭 推测解码 · 分层验证 · 模型内路由 ★ 深度解读
Zhejiang University · Agency for Science, Technology and Research (A*STAR) · National University of Singapore
引入从大模型内部路由出的轻量分层验证器，处理中等置信度 token，减少大模型调用，提升推测解码速度 10-20%
📌 工作参考价值（4 点）
- 分层验证思路可迁移到电商推荐多级排序：用轻量模型初筛，中等模型精排，大模型处理疑难 case，降低整体延迟。
- 模型内路由（DIMR）允许从大模型直接裁剪出轻量验证器，无需额外训练或独立模型，利于内存受限的线上部署。
- 利用 KL 投影设计中间验证器置信度阈值，指导业务中质量-效率权衡的参数调节。
- 方法兼容现有 draft-verify 框架，可即插即用增强生成式推荐中 token 序列的生成速度。